Contents

Постановка задачи

Существующие методы синтеза речи

Синтезаторы речи различаются, прежде всего, по исходному речевому материалу. Это могут быть или предварительно закодированная, сжатая по возможности речь в виде фраз, слов, слогов, фонем или сегментов, или искусственные речеподобные звуки, сформированные электронным устройством.

В первом случае используют широко известные из общей теории обработки сигналов способы: спектральное описание, адаптивную дельта модуляцию, клиппирование, логарифмическую импульсно-кодовую модуляцию, аппроксимацию формы полуволны и другие способы. Мне особенно нравится так называемый метод распознавания обазцов. Коротко его суть заключается в следующем: в памяти хранится множество образцов огибающих. Программа берет небольшую часть сигнала и решает на какой из образцов он похож больше, т.е. передается уже не сам сигнал, а номера образцов. Может быть это бестолковая идея, но её так просто реализовать !

По принципу построения синтезируемых сообщений из исходных элементов различают синтезаторы целостные и компилятивные. В первом случае целые слова или фразы, предварительно закодированной естественной речи извлекаются из памяти и восстанавливаются. Во втором случае система создает речевое сообщение из отдельных элементов естественного или искусственного происхождения. Целостный синтез обладает хорошей натуральностью звучания, но имеет ограниченный набор слов (фраз). Компилятивный синтез позволяет строить произвольные сообщения по тексту, но уступает в натуральности звучания, так как простая стыковка звуков не соответствует физике речеобразования и плохо воспринимается на слух. Системы компилятивного синтеза имеют очень важные преимущества:

-

компактность описания сообщений,

-

неограниченный словарь,

-

возможность синтеза речи по тексту.

Проще всего осуществлять такой синтез по фонетической транскрипции, или же система должна обладать способностью преобразовывать орфографический текст в фонетический.

Основная проблема компилятивного синтеза - это учет коартикуляции, т.е. взаимного влияния артикуляционных движений при произнесении соседних звуков и, как следствие, зависимости параметров фонемы от фонетического окружения. Особенно подвержены коартикуляции начальный и конечный участки фонем. Для решения этой проблемы разработаны различные методы. В частности, компилятивный синтез речи из аллофонов. Но в данном случае возникает другая проблема: предварительное выделение аллофонов из речи и их дальнейшее согласование при синтезе.

Методы решения, проблема коартикуляции:

• Запись и воспроизведение по слогам (подобный способ синтеза применяется в программе CHESSMASTER 7000).

• Запись стыков между всеми сочетаниями звуков.

• Метод уменьшения амплитуды начального и конечного участков каждой фонемы по какому-либо математическому закону (в простейшем случае - по линейному закону) и наложение этих участков друг на друга.

• Форматный синтез и коартигуляция с помощью интерполяции форматных траекторий.

Алгоритм поиска ударений

Таблица правил содержит в себе список эвристик, упорядоченный по приоритетам.

Для поиска ударений сначала проверяется список всегда выполняющихся эвристик, затем словарь исключений, затем список не всегда выполняющихся эвристик.

Список всегда выполняющихся эвристик:

1. В односложных словах ударение падает на единственную гласную.

2. В словах, содержащих гласную -e-, ударение падает на эту гласную.

3. Если слово заканчивается на -льон (+ окончание), то ударение падает на этот слог.

   Пример: бульон, павильон.

4. Если слово заканчивается на -ция, то ударение падает на предыдущий слог.

   Пример: милиция, конституция.

5. Если слово заканчивается на -ион (+ окончание), то ударение падает на гласную -о-.

   Пример: миллион.

6. Если слово заканчивается на -иант (+ окончание), то ударение падает на гласную -а-.

   Пример: бриллиант, вариант.

7. Если слово начинается с приставки, и за приставкой следует одна из следующих подстрок: -бира-, -лага-, -тира-, -мира-, -пира-, -стила-, -дира-, то ударение падает последнюю гласную подстроки.

   Пример: разбирающий, перестилать.

8. Если слово содержит подстроку -стира- или -ража-, то ударение падает на гласную -а-.

   Пример: стирающий, выражать.

9. Если слово заканчивается на одну из следующих подстрок (+ окончание), то ударение падает на первую гласную подстроки: -ист-, -истк-, -изм-, -ент-, -ентк-, олог-, -ант-, -антк-, -уля-, -аст-, -астк-, -ир-, -ург-, -атор-, -итор-, -ктор-

   Пример: турист, туристка, капитализм, студент, студентка, филолог, аспирант, аспирантка, грязнуля, гимнаст, гимнастка, командир, хирург, оператор, аудитор, кондуктор.

10. Если слово содержит один из следующих суффиксов, то ударение падает на первую гласную суффикса: -онок-, -онк-, -юшк-, -ишк-, -ашк-, -ат-, -ят-, -атин-, -ятин-, -оныш-, -яг-, -чан-,-чанин-,-янк-,-анк-,-рам- .

    Пример: медвежонок, девчонка, зверюшки, мальчишка, букашка, девчата, козлята, зайчатина, козлятина, работяга, англичанин, землянка, панорама.

11. В словах, заканчивающихся на одну из следующих подстрок (+ окончание), ударение падает на первую гласную подстроки: -манность, -ебниц-, -иец-, -еец-, -аец-, -графия, -метрия, -логия, -евно, -ально, -ебно, -душно .

    Пример: туманность, лечебница, партиец, гвардеец, китаец, география, геометрия, биология, плачевно, нормально, лечебно, равнодушно.

12. В словах, заканчивающихся на одну из следующих подстрок (+ окончание), ударение падает на первую гласную, стоящую перед подстрокой: -тельность, -енность, -льник-, -тик- .

    Пример: внимательность, болезненность, начальник, математика.

13. Если слово состоит из двух слогов (+ окончание) и второй слог включает в себя одну из следующих подстрок, то ударение падает на первый слог: -очк-, -ость, -чик-, -щик-, -ник- .

    Пример: девочка, зрелость, мальчик, ящик, чайник.

14. Если слово заканчивается на одну из следующих подстрок (+ окончание) то ударение падает на вторую гласную подстроки: -урги-, -овато .

    Пример: металлургия, серовато.

15. В словах, начинающихся с подстроки -аэро-, за которой следует один слог (+ окончание), то ударение падает на этот слог.

    Пример: аэропорт, аэродром.

16. Если слово заканчивается на одну из следующих подстрок и окончание прилагательного, то ударение падает на первую гласную подстроки: -евн-, -ебн-, -альн-, -ичн-, -учн-, -душн-, -ивн-, -ическ-, -он- анн н-, -инн-, -изн-, -ин-, -ив-,-ованн- .

    Пример: плачевный, лечебный, нормальный, логичный, научный, равнодушный, спортивный, классический, телефонная, глубинный, капризный, голубиный, ленивый, организованный.

17. Если слово содержит один из следующих суффиксов, перед которым в слове только один слог, и заканчивается на окончание прилагательного, то ударение падает на этот суффикс: -аст-, -ист-.

    Пример: ушастый, пушистый.

18. В словах, содержащих суффикс -оват- или -еват-, ударение падает на вторую гласную суффикса.

    Пример: сероватый, бежеватый.

19. Если слово состоит из двух слогов и окончания прилагательного, и второй слог -айш- или -ейш-, то ударение падает на второй слог.

    Пример: ближайший, нежнейший.

20. Если слово заканчивается на одну из следующих подстрок и окончание прилагательного, то ударение падает на слог, предшествующий подстроке: -тельск-, -льск-.

    Пример: приятельский, подольский.

21. Если слово заканчивается на подстроку - и окончание прилагательного или на подстроку - анно, и перед подстрокой в слове стоит только один слог то ударение падает на первую гласную подстроки.

    Пример: туманный, желанно.

22. Если слово начинается с приставки, заканчивается на одну из следующих подстрок и окончание глагола, и между приставкой и подстрокой стоит по меньшей мере один слог, то ударение падает на слог, предшествующий подстроке: -ива-, -ыва-, -ив-, -ыв-.

    Пример: рассматриваешь, разглядываешь, расписываться, приклеивать.

23. Если слово начинается с приставки, заканчивается на одну из следующих подстрок и окончание прилагательного, и между приставкой и подстрокой стоит по меньшей мере один слог, то ударение падает на слог, предшествующий подстроке: -ивающ-, -ывающ-, -иваем-, -ываем-, -ивавш-, -ывавш- .

    Пример: рассматривающий, разглядывающий, разбрасываемый, привязывавший.

24. Если слово заканчивается на подстроку - иров - и окончание глагола, и перед подстрокой в слове стоит по меньшей мере один слог, то ударение падает на первую гласную подстроки.

    Пример: регулировать, трансформировать.

25. Если слово заканчивается на одну из следующих подстрок и окончание прилагательного, и перед подстрокой в слове стоит по меньшей мере два слога, то ударение падает на первую гласную подстроки: -ирующ-, -ируем-, -ировавш-.

    Пример: регулирующий, трансформируемый, гарантировавший.

Список не всегда выполняющихся эвристик:

1. В глаголах, имеющих следующие окончания -ишь-, -ешь-, -ите-, -ете-, -ем-, -ет-, -им-, -ит-, -ат-, -ят-, -ут-, -ют- ударение падает на слог, предшествующий окончанию, в остальных глаголах (кроме указанных в словаре) ударение падает на первый слог окончания.

   Пример: смотришь, ходят.

2. Если прилагательное имеет суффикс - ов -, перед которым в слове стоит только один слог, то ударение падает на этот суффикс.

   Пример: торговый, портовый.

3. Если существительное заканчивается на одну из следующих подстрок и окончание, то ударение падает на первую гласную подстроки: -ани-, -ени-, -яни-, -ити-, -яти- .

   Пример: внимание, строение, влияние, наитие, мероприятие.

4. В существительных, заканчивающихся на -арь или -ырь, ударение падает на последний слог.

   Пример: фонарь, пустырь.

5. В существительных, заканчивающихся на подстроку - шинств - и окончание, ударение падает на первую гласную окончания.

   Пример: старшинство, меньшинство.

6. В существительных, состоящих из двух слогов и окончания, где второй слог - суффикс - ец -, ударение падает на первую гласную окончания. Если же окончание нулевое,то ударение падает на суффикс.

   Пример: гордец, гордеца.

7. В существительных, имеющих один из следующих суффиксов, ударение падает на слог, предшествующий суффиксу: -чик-, -щик-, -ник- .

   Пример: вагончик, барабанщик, второгодник.

8. В словах, содержащих подстроку - енн -, ударение падает на слог, предшествующий подстроке.

   Пример: заполненный, присмотренный.

9. В словах, содержащих суффикс - чив -, ударение падает на слог, предшествующий суффиксу.

   Пример: задумчиво, находчивый.

10. В словах, заканчивающихся на одну из следующих подстрок и окончание, ударение падает на слог, предшествующий подстроке: -чивост-, -ост-.

    Пример: находчивость, туманность.

11. В наречиях, заканчивающихся на -иво, -асто, -исто, -турно ударение падает на первую гласную подстроки.

    Пример: красиво, пушисто, культурно.

12. В прилагательных, имеющих один из следующих суффиксов, стоящий перед окончанием, ударение падает на суффикс: -аст-, -ист-, -лив-, -уч-, -ив-.

    Пример: ушастый, душистый, сварливый, могучий,игривый.

13. В существительных, заканчивающихся на - ель или -аль (+ окончание), ударение падает на первую гласную подстроки.

    Пример: параллель, спираль.

14. В существительных, имеющих суффиксы -ушк-, -иц-, -чих-, -еньк-, -ышк-, -очек-, -ищ-, -овк-, -ечк-, ударение падает на суффикс.

    Пример: деревушка, ключица, зайчиха, деревенька, мартышка, дружочек, ручища, курсовка, крылечко.

15. В существительных, имеющих суффиксы -чиц-, -ниц-, ударение падает на слог, предшествующий суффиксу.

    Пример: мотажница, наладчица.

16. Если слово содержит подстроку - тель -, то ударение падает на слог, предшествующий подстроке.

    Пример: обстоятельство, старательно.

17. Если существительное заканчивается на одну из следующих подстрок (+ окончание), то ударение падает на слог, предшествующий подстроке: -ств-, -оньк-, -тик-, -нец, -нц-, -ик- .

    Пример: хулиганство, кухонька, зонтик, румянец,румянца, коврик.

18. В прилагательных, заканчивающихся на одну из следующих подстрок и окончание, ударение падает на слог, пред- шествующий подстроке: -еньк-, -ищн-, -ск-, -ечн-, -чн-.

    Пример: беленький, чудовищный, житейский, точечный, отличный.

19. В существительных, оканчивающихся на подстроку -тек - и окончание или на подстроку - тур - и окончание, ударение падает на первую гласную подстроки.

    Пример: картотека, партитура.

20. В существительных, заканчивающихся на - ок, ударение падает на этот слог.

    Пример: дружок, бережок.

21. В существительных, оканчивающихся на - брь, ударение падает на последний слог. Если окончание не нулевое, то ударение падает на первую гласную окончания.

    Пример: октябрь, декабря.

22. В существительных, имеющих подстроку -парк-, ударение падает на первую гласную подстроки.

    Пример: зоопарк, лесопарк.

Реализация поиска ударений.

Программа написана на языке C++, с применением библиотек WATCOM C++.

Программа построена таким образом, что она ничего не знает о языке, с которым она работает. Все необходимые данные записаны в конфигурационном файле.

Управляющие слова конфигурационного файла:

REMARKCHAR	установка символа комментария(по умолчанию '.').
SYLLABLE	установка символа обозначающего слог(по умолчанию '@').
ANYCHAR	установка символа обозначающего любую непустую последовательность букв (по умолчанию '-').
PUBLIC	установка множества гласных букв.
DEFTOKS	установка символа обозначающего какое либо буквосочетание из указанного списка (применяется для обозначения приставок, окончаний и т.п.). Символ равный (ANYCHAR) обозначает возможность пустого буквосочетания.
OBLIGATORY	список всегда выполняющихся эвристик (список оканчивается словом END).
!OBLIGATORY	список не всегда выполняющихся эвристик.
EXCEPTIONS	файл со словарем исключений.
END.	(chc) конец файла (chc контрольная сумма файла).

Комментарии начинаются и кончаются с помощью символа определенного REMARKCHAR.

Структура эвристики:

• Символ определенный с помощью SYLLABLE обозначает один слог.

• Символ определенный с помощью ANYCHAR обозначает любую непустую последовательность символов.

• Символ определенный с помощью DEFTOKS обозначает одну из строк соответствующего списка.

• Буква обозначает соответствующую букву в слове.

• Символ ' обозначает, что ударение находится слева от заданной позиции.

• Символ ` обозначает, что ударение находится справа от заданной позиции.

• По умолчанию, при совпадении с шаблоном, ударение падает на первый слог слова.

• Программа не знает, где проходят границы слога, и для заданного шаблона проверяет все возможные варианты границ проходящих через согласные буквы.

• Словарь хранится в виде простого списка слов, ударение в которых обозначено символом '. И по сути представляет из себя тот-же набор эвристик, которые тупо грузятся в память.

Список методов класса Analizer.

Analizer(char *);

Конструктор. В качестве параметра принимает имя конфигурационного файла, который загружает в память.

~Analizer();

Деструктор.

RemoveList(toksType *);

Часть деструктора. Удаляет список из памяти.

char Accent(char *);

Принимает указатель на слово. Выдает позицию ударения.

void AddToks(ifstream &);

Добавляет слово в список оператора DEFTOKS.

void AddHeuristic(ifstream &, toksType **);

Загружает список эвристик. Принимает указатель на файловый поток и список эвристик.

bool Find(char *, char *, char );

Сверяет слово с заданной эвристикой. Принимает указатель на эвристику, слово, и начальную позицию в слове (0).

bool FindTok(char *, char *, char *, char );

Сверяет слово буквенным шаблоном из списка DEFTOKS и с остатком эвристики. Принимает указатель на остаток эвристики, остаток слова, образец из списка, текущую позицию слова.

char *FindInList(toksType *, char *);

Ищет заданное слово в заданном списке эвристик. Возвращает указатель на эвристику или 0. Также устанавливает переменные Direction, Position.

void ReadBuffer(ifstream &file)

Список переменных класса Аnalizer.

int CheckSum;

Контрольная сумма файла с правилами

char Position;

Приблизительная позиция ударения.

bool Direction;

Направление поиска гласной, от приблизительной позиции ударения.

char Public[30];

Список гласных.

char toks[10];

Список символов DEFTOKS.

char toksQuantity;

Количество определенных DEFTOKS.

struct toksType{toksType *next; char *val;};

Элемент списка.

toksType *toksList[10];

Массив указателей на списки DEFTOKS.

toksType *Obligatory, *NotObligatory, *Exceptions;

Ссылка на список обязательных и не обязательных эвристик. А также словарь исключений.

String buffer;

Буфер общего назначения.

char AnySyms,RemarkSym,SyllableSym;

Значения символов ANYCHAR, REMARKCHAR, SYLLABLE.

#ifndef _main_ #error Included file ! #endif #ifndef _Analizer #define _Analizer + #define alpha -1 #define beta -2 class Analizer { public: Analizer(char *); ~Analizer(); char Accent(char *); void Report(bool); private: char Position; bool Direction; char Public[30]; char toks[10]; char toksQuantity; int checkSum; struct toksType{toksType *next; char *val; bool unused;}; toksType *toksList[10]; toksType *Obligatory, *NotObligatory, *Exceptions; String buffer; void AddToks(ifstream&); void AddHeuristic(ifstream&, toksType **); bool Find(char *, char *, char ); bool FindTok(char *, char *, char *, char ); char *FindInList(toksType *, char *); void ReadBuffer(ifstream&); void RemoveList(toksType *); char AnySyms,RemarkSym,SyllableSym; }; void Analizer::RemoveList(toksType *list) { toksType *current; while(list) { current=list; list=list->next; delete(current->val); delete(current);} } Analizer::~Analizer() { RemoveList(Obligatory); RemoveList(NotObligatory); RemoveList(Exception); for(char t=toksQuantity; t--;) RemoveList(toksList[t]); } Analizer::Analizer(char *filename) { checkSum=34; int endS; Obligatory=NotObligatory=Exceptions=0; AnySyms='-'; RemarkSym='.'; SyllableSym='@'; toksQuantity=0; ifstream file(filename); while(!file.eof()) { ReadBuffer(file); cout<<buffer<<'\t'; if(buffer=="PUBLIC") file>>Public; else if(buffer=="DEFTOKS") AddToks(file); else if(buffer=="EXCEPTIONS") { file>>buffer; ifstream diction(buffer); AddHeuristic(diction,&Exceptions);} else if(buffer=="OBLIGATORY") AddHeuristic(file, &Obligatory); else if(buffer=="!OBLIGATORY") AddHeuristic(file, &NotObligatory); else if(buffer=="SYLLABLE") file>>SyllableSym,checkSum+=SyllableSym; else if(buffer=="REMARKCHAR") file>>RemarkSym,checkSum+=RemarkSym; else if(buffer=="ANYCHAR") file>>AnySyms,checkSum+=AnySyms; else if(buffer=="END.") {file>>endS; if(endS!=checkSum) cout<<"CHC error ! "<<checkSum<<'\a'<<endl; break; }else cout<<"Error unknown expresion !!!"<<'\a'<<endl; } file.close(); cout<<endl; } void Analizer::AddHeuristic(ifstream &file,toksType **ref) { if(*ref) {cout<<"Overload"<<'\a'<<endl;return;}; for(;;) { *ref=0; char a,b; ReadBuffer(file); if(buffer=="END") return; char len=buffer.length(); for(a=0; a<len; a++) for(b=0; b<toksQuantity; b++) if(buffer[a]==toks[b]) buffer[a]=b+1; #ifdef _debug String temp; char *current; for(a=0; a<len; a++) {b=buffer[a]; if(b<10 || b==AnySyms) b=beta; if(b==SyllableSym) b=alpha; temp+=b; }; if((current=FindInList(Obligatory,(char*)(const char*)temp)) || (current=FindInList(Exceptions,(char*)(const char*)temp)) || (current=FindInList(NotObligatory,(char*)(const char*)temp))) { cout<<endl<<"***** Unused heuristicks : "<<buffer<<" \a<= "; for(a=0; b=current[a]; a++) cout<<(char)(b>=' ' ? b : toks[b]); cout<<endl;} #endif *ref=new(toksType); (*ref)->unused=true; (*ref)->val=new(char[len+1]); strcpy((*ref)->val,buffer); ref=&((*ref)->next); } } void Analizer::AddToks(ifstream &file) { char sym; toksType **ref=&(toksList[toksQuantity]); file>>sym; toks[toksQuantity++]=sym; for(;;) { *ref=0; file>>buffer; if(buffer[0]==sym) break; *ref=new(toksType); (*ref)->val=new(char[buffer.length()+1]); strcpy((*ref)->val,buffer); ref=&((*ref)->next); } } char Analizer::Accent(char *word) { if(FindInList(Obligatory,word) || //FindInList(Exceptions,word) || FindInList(NotObligatory,word)) return Position; return -1; } char *Analizer::FindInList(toksType *current, char *word) { while(current) { Position=0; Direction=true; char sym; if(Find(current->val, word,0)) {current->unused=false; // for(unsigned char t=0; sym=current->val[t]; t++) // cout<<(char)(sym>=' ' ? sym : sym+'0'); cout<<endl; if(Direction) {while(word[Position] && !strchr(Public,word[Position])) Position++;} else {do{} while(Position-- && !strchr(Public,word[Position])); } return current->val; } current=current->next; } return 0; } bool Analizer::Find(char *mask, char *word, char pos) { for(;;){ char t; char maskS=*mask++; if(maskS==39) Direction=false; if(maskS==39 || maskS==96) Position=pos,maskS=*mask++; char wordS=*word; if(!maskS && !wordS) return true; if(maskS==AnySyms) {for(;*word;) if (Find(mask,++word,++pos)) return true;} else if(maskS==SyllableSym) { for(;;){t=*word++; pos++; if(!t || t==beta) return false; if(strchr(Public,t)||t==alpha) break; } word--; pos--; for(;;){ if(Find(mask, ++word, ++pos)) return true; t=*word; if(!t || strchr(Public,t) || t==beta) return false; }} else if(maskS<' ' && maskS){ toksType *w=toksList[maskS-1]; if(w->val[0]==AnySyms) { if(Find(mask,word,pos)) return true; w=w->next;} for(;w;){ if(FindTok(mask, word, w->val, pos)) return true; w=w->next;} return false; } else {if(maskS!=wordS) return false;}; ++word,++pos;} } bool Analizer::FindTok(char *mask, char *word, char *tok, char pos) { for(char t=0; tok[t]; t++) {if(tok[t]!=word[t]) return false;} return (Find(mask,word+t, pos+t)); } void Analizer::ReadBuffer(ifstream &file) { file>>buffer; if(buffer==RemarkSym) {do{file>>buffer;}while(buffer!=RemarkSym); file>>buffer;}; for(char t=0; t<buffer.length(); t++) checkSum=(1+checkSum)*buffer[t]; } void Analizer::Report(bool mode) { char sym; toksType *w=(mode ? Obligatory : NotObligatory); cout<<"List of unused " <<(mode?"":"not ")<<"obligatory heuristiks !"<<endl; while(w) {if(w->unused) {for(unsigned char t=0; sym=w->val[t]; t++) cout<<(char)(sym>=' ' ? sym : sym+'0'); cout<<endl;}; w=w->next;}; cout<<"Script done."<<endl; } #endif

Пример использования класса Analizer

File: main.cpp

#ifndef __WATCOMC__
#error Sorry this program use only with Watcom C++
#endif

#define _main_
#define _debug

#include<fstream.h>
#include<string.h>
#include<string.hpp>
#include"analizer.cpp"

void main()
{
  Analizer analiz("setup.txt");
  for(;;)
  {
    char word[100];
    cin>>word;
    if(cin.eof()) return;
    if(!strcmp(word,".system")) return;
    char pos=analiz.Accent(word);
    for(char t=0; t[word]; t++) {
      cout<<word[t]; if(t==pos) cout<<(char)39;};
    cout<<endl;
  }
}

End of file: main.cpp

Контроль корректности эвристик

Поскольку существует возможность, что эвристики с более высоким приоритетом, будут полностью исключать возможность срабатывания эвристик с более низким приоритетом. Например в списке правил :

x-z

xz-y

В данном примере использование первой эвристики делает бессмысленным использование второй. Программа пытается распознать подобные ситуации. Для этого очередная загруженная эвристика преобразуется по следующим правилам :

[x]	[x]	x буква
-	β	- тот самый который обозначает любую последовательность
@	α	слог
#	β	окончание, приставка, ...

Где :

β	символ который не совпадает ни с одним символом алфавита
α	символ который не совпадает ни с одним символом алфавита, но считается гласной буквой

После чего полученное слово проверяется на совпадение всеми предыдущими эвристиками. Таким образом система выявляет все холостые эвристики в момент загрузки (две там точно есть).

О словаре

Что можно сделать если словарь в память на лезет. Тут можно пойти двумя путями.

1. Попытаться засунуть его в память.
2. Сделать его выносным.

Компактный способ хранения словаря

Выносной словарь

• храним бинарное дерево из хеш функций. Для одного слова нам потребуется максимум log₂n чтений.
• используем B-дерево. Первая часть файл представляет из себя набор ссылок, т.е. таблицу в которой для каждой первой возможной буквы слова хранится ссылка на таблицу ссылок для второй буквы слова. Если в алфавите 33 буквы и ссылка занимает четыре байта, одна таблица ссылок имеет размер 132. Если значение ссылки не кратно 132, значит ссылка указывает на остаток слова в текстовом виде. Таким образом скорость извлечения слова пропорциональна его длине.
• для ускорения работы, можно использовать битовую хеш карту, которая просто информирует о возможном присутствии слова в словаре.

Наш словарь исключений

Числительные